AgentSWE: Can Coding Agents Build the Agent You Actually Want?
AgentSWE：编码智能体能构建你真正想要的智能体吗？
🧭 评估编码代理构建智能体的基准
Beijing Academy of Artificial Intelligence · Institute of Automation, Chinese Academy of Sciences · Renmin University of China
提出 AgentSWE 基准，覆盖智能体开发三阶段，揭示编码代理构建的智能体与真实需求存在普遍差距
📌 工作参考价值（4 点）
- 评估用 LLM 构建的搜索/推荐/Agent 流程时，不要只看开发者演示或少量示例；要留出 held-out 测试集，用需求衍生的硬性 pass/fail 门禁替代主观评分，防止模型过拟合可见案例。
- 在生成式推荐或 QueryRec 中，若用 LLM 生成 Semantic ID 或 query 文案，可借鉴「需求衍生 rubric」思路：将业务需求拆解为可自动判定的行为测试，覆盖长尾场景，而不是只优化离线指标或人工抽检。
- 工程验收时，需检查 Agent 交付物的运行时是否真实执行，不能只看代码结构完整；类似地，RAG 或搜索 Agent 要验证工具调用是否确实发生，避免出现「空壳 pipeline」——代码看似完整但实际不产出有效行为。
- 对于优化类任务，目标应使用源基准自身指标，而不是 Agent 自报的完成度；在电商 Agent 迭代中，可将转化率、响应延迟等业务指标作为唯一优化目标，防止 Agent 生成表面合理的中间结果。